作者：壞小籽z_339 | 来源：互联网 | 2023-07-26 23:09
本文从数仓架构之流派之争，数仓建设之三步调研，划分主题域和总线矩阵，数仓架构之美，数据治理和数据质量等全局展开。数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。
Inmon：数据仓库之父，中央集权的战略家！
Kimball：数据仓库大师，分而治之的战术家！践行家！秦始皇：在中央实行三公九卿，地方废分封、立郡县，同时 书同文，车同轨，统一度量衡。
数仓建设：整体架构分4层12个主题，逆规范化、维度建模，同时 统一模型规范，开发规范，数据类型等。。。
一句话总结数仓建设：通过三步调研（业务调研、需求调研、数据调研），划分主题域，确定主题。然后构建总线矩阵，维度建模（星型模型、四步建模）。设计数仓分层架构（ods-dwd-dws-ads），定制规范（命名规范、模型规范、开发规范、流程规范）。数据治理（数据质量，数据安全，元数据管理）。开工ETL/BI，迭代开发。* * 开发团队必须严格的按照这个体系结构来进行数据集市的迭代开发。
关于一些技术点的随笔记录（二）
Hive Join优化
JVM垃圾回收器、内存分配与回收策略
Kafka作为消息系统的系统补充
京公网安备 11010802041100号